Ce château a été élevé sur un plateau en face du détroit, que Hakon V en Norvège a soulevé à la fin du XIIIe siècle, chaque blocus fait face.
Presque toutes ces opérations ont été menées par les forces suédoises, que ce soit le duc Erik de Sudmanland au début du XIVe siècle ou le roi Charles XII en 1716.
Le reste de la conception est du règne du roi Christian IV, qui a déplacé tout l'Oslo au nord de la forteresse après un incendie en 1624. Il a modernisé les défenses et construit un palais de style Renaissance italienne dans son cœur.